Amazon MSKブローカーにプロビジョンドストレージスループットのオプションが追加されました

いわさです。

MSKブローカーのストレージスループットをプロビジョニング出来るようになりました。

Amazon MSK now offers the ability to scale storage throughput up to 1000 MiB/s per broker

無条件に利用出来るわけではないのですが、特定以上のインスタンスタイプで追加コストを支払うことで利用が可能になります。

設定方法

クラスター作成時のブローカーストレージ設定項目に新たなオプションが追加されています。

デフォルトでは無効化されています。
そしてこの機能を有効化するためには、ボリュームサイズが10GiB以上かつプローカーのインスタンスタイプをkafka.m5.4xlarge以上に指定する必要があります。

最大で1000MiB/sが指定出来るのですが、上限もインスタンスタイプによって異なっています。

ブローカータイプ	上限値
kafka.m5.4xlarge	593 MiB/s
kafka.m5.8xlarge	850 MiB/s
kafka.m5.12xlarge	1000 MiB/s
kafka.m5.16xlarge	1000 MiB/s
kafka.m5.24xlarge	1000 MiB/s

Provisioning storage throughput - Amazon Managed Streaming for Apache Kafka

追加料金

このオプションが追加されている場合は追加料金が発生します。
以下は東京リージョンの料金です。

(optional) Price per MB/s-month for provisioned storage throughput = $0.096

Fully Managed Apache Kafka — Amazon MSK Pricing – AWS より

注意点として、有効化はブローカーノードではなくクラスター単位となりますので、ブローカーノード3台構成のクラスターで500MiB/sを追加した場合、1500MiB/s追加されることになります。

さいごに

本日はMSKのプロビジョンドストレージスループットを紹介しました。

従来は高スループットが要求されるワークロードでスループットを向上させる必要がある場合は、追加のブローカーをプロビジョニングする必要がありましたが、これからはより低コストな選択肢として、ストレージスループットを追加でプロビジョニングするという選択肢が出てきました。
ストレージスループットのみに焦点をあげることが出来るのであれば効率的なオプションになりそうです。